Dynamical systems are found in innumerable forms across the physical and biological sciences, yet all these systems fall naturally into universal equivalence classes: conservative or dissipative, stable or unstable, compressible or incompressible. Predicting these classes from data remains an essential open challenge in computational physics at which existing time-series classification methods struggle. Here, we propose, \texttt{phase2vec}, an embedding method that learns high-quality, physically-meaningful representations of 2D dynamical systems without supervision. Our embeddings are produced by a convolutional backbone that extracts geometric features from flow data and minimizes a physically-informed vector field reconstruction loss. In an auxiliary training period, embeddings are optimized so that they robustly encode the equations of unseen data over and above the performance of a per-equation fitting method. The trained architecture can not only predict the equations of unseen data, but also, crucially, learns embeddings that respect the underlying semantics of the embedded physical systems. We validate the quality of learned embeddings investigating the extent to which physical categories of input data can be decoded from embeddings compared to standard blackbox classifiers and state-of-the-art time series classification techniques. We find that our embeddings encode important physical properties of the underlying data, including the stability of fixed points, conservation of energy, and the incompressibility of flows, with greater fidelity than competing methods. We finally apply our embeddings to the analysis of meteorological data, showing we can detect climatically meaningful features. Collectively, our results demonstrate the viability of embedding approaches for the discovery of dynamical features in physical systems.

Even for us, it can be challenging to comprehend the meaning of songs. As part of this project, we explore the process of generating the meaning of songs. Despite the widespread use of text-to-text models, few attempts have been made to achieve a similar objective. Songs are primarily studied in the context of sentiment analysis. This involves identifying opinions and emotions in texts, evaluating them as positive or negative, and utilizing these evaluations to make music recommendations. In this paper, we present a generative model that offers implicit meanings for several lines of a song. Our model uses a decoder Transformer architecture GPT-2, where the input is the lyrics of a song. Furthermore, we compared the performance of this architecture with that of the encoder-decoder Transformer architecture of the T5 model. We also examined the effect of different prompt types with the option of appending additional information, such as the name of the artist and the title of the song. Moreover, we tested different decoding methods with different training parameters and evaluated our results using ROUGE. In order to build our dataset, we utilized the 'Genious' API, which allowed us to acquire the lyrics of songs and their explanations, as well as their rich metadata.

理解基于变压器的模型引起了极大的关注，因为它们是机器学习最近技术进步的核心。尽管大多数可解释性方法都依赖于输入的运行模型，但最近的工作表明，零通的方法，即直接解释参数而无需前进/向后传递，对于某些变压器参数是可行的，对于两层注意力网络是可行的。在这项工作中，我们提出了一个理论分析，其中通过将其投影到嵌入式空间（即它们操作的词汇量的空间）中来解释训练有素的变压器的所有参数。我们得出一个简单的理论框架来支持我们的论点，并为其有效性提供了充足的证据。首先，经验分析表明，可以在嵌入空间中解释审计和微调模型的参数。其次，我们提出了框架的两个应用：（a）对齐共享词汇的不同模型的参数，以及（b）通过``翻译''''''''分类器构建分类器的参数``翻译'''''''分类器的参数仅鉴定的不同模型。总体而言，我们的发现为解释方法打开了大门，至少部分地从模型细节中抽象出来，仅在嵌入空间中运行。

由于长期没有事件，处理动态数据时，陈旧问题是一个众所周知的问题。由于仅当节点参与事件时才更新节点的内存，因此其内存变为陈旧。通常，它是指缺乏社会帐户的时间停用等事件。为了克服内存的陈旧问题问题，除节点内存外，还来自节点邻居内存的信息。受此启发的启发，我们设计了一个更新的嵌入模块，该模块除节点邻居外还插入最相似的节点。我们的方法获得了与TGN相似的结果，并略有改进。这可能表明在微调我们的超参数后，尤其是时间阈值并使用可学习的相似度度量后，可能会有所改善。

在过去的几年中，提出了多种基于深神经网络（DNN）的方法，以解决来自未取消采样的“ K-Space”（傅立叶域）数据的挑战性不足的反向问题。然而，反对采集过程中的变化和解剖学分布的不稳定性表明，与其经典的对应物相比，DNN体系结构对相关物理模型的概括不佳。较差的概括有效地排除了DNN适用于临床环境中不足采样的MRI重建。我们通过引入物理培养的DNN体系结构和培训方法来提高DNN方法的泛化MRI重建能力。除了模型体系结构中观察到的数据外，我们的体系结构还编码底面采样掩码，并采用适当的培训方法，该方法使用与各种无底采样掩码生成的数据一起鼓励模型概括了未散布的MRI重建问题。我们通过对公开可用的快速MRI数据集进行了广泛的实验，证明了我们的方法的附加价值。我们的物理提出的方法达到了增强的概括能力，这使得与获得的稳健性和解剖学分布的变化相比，尤其是在病理区域中，与香草DNN方法和DNN进行了显着提高，并在病理区域中进行了显着提高，并且受过培训的DNN训练，并接受了强烈的掩盖掩模的增强。接受训练的模型和代码以复制我们的实验，将在接受后用于研究目的。

虽然视觉和语言模型在视觉问题回答等任务上表现良好，但在基本的人类常识性推理技能方面，它们会挣扎。在这项工作中，我们介绍了Winogavil：在线游戏，以收集视觉和语言协会（例如，狼人到满月），用作评估最先进模型的动态基准。受欢迎的纸牌游戏代号的启发，Spymaster提供了与几个视觉候选者相关的文本提示，另一个玩家必须识别它们。人类玩家因创建对竞争对手AI模型而具有挑战性的联想而获得了回报，但仍然可以由其他人类玩家解决。我们使用游戏来收集3.5k实例，发现它们对人类的直观（> 90％的Jaccard索引），但对最先进的AI模型充满挑战，其中最佳模型（Vilt）的得分为52％ ，成功的位置在视觉上是显着的。我们的分析以及我们从玩家那里收集的反馈表明，收集的关联需要多种推理技能，包括一般知识，常识，抽象等。我们发布数据集，代码和交互式游戏，旨在允许未来的数据收集，可用于开发具有更好关联能力的模型。

我们表明，具有随机性访问的神经网络可以通过扩增胜过确定性网络。我们称此类网络融合的神经网络或CFNN。我们表明，CFNN可以将$ d $维球的指标近似于任意准确性，仅使用2层和$ \ Mathcal {o}（1）$ Neurrons，其中显示了2层确定性网络所需的$ \ \欧米茄（E^d）$神经元，指数改进（ARXIV：1610.09887 [CS.LG]）。我们证明了一个高度不平凡的结果，即对于几乎任何分类问题，都存在一个简单的网络，可以解决该网络权重的足够强大的发电机。结合了这些结果，我们猜测，对于大多数分类问题，有一个CFNN可以比任何确定性网络更高的精度或更少的神经元解决。最后，我们使用CIFAR10和CIFAR100上的新型CFNN体系结构实验验证了我们的证明，从基线提高了9.25 \％。

人类交流越来越多地与AI产生的语言混合。在聊天，电子邮件和社交媒体中，AI系统会产生智能答复，自动完成和翻译。 AI生成的语言通常不被认为是人类语言的姿势，引起了人们对新型欺骗和操纵形式的担忧。在这里，我们研究了人类如何辨别AI产生的最个人化和结果形式之一 - 一种自我表现。在六个实验中，参与者（n = 4,650）试图识别由最先进的语言模型产生的自我表现。在专业，款待和浪漫的环境中，我们发现人类无法识别AI生成的自我表现。将定性分析与语言特征工程相结合，我们发现人类对语言的人类判断受到直观但有缺陷的启发式方法的困扰，例如将第一人称代词，真实的单词或家庭主题与人类相关联。我们表明，这些启发式方法使人类对产生的语言的判断可预测和可操纵，从而使AI系统能够产生比人类更具人类的语言。我们通过讨论解决方案（例如AI的重音或合理使用政策）来结束，以减少产生语言的欺骗潜力，从而限制人类直觉的颠覆。

语言模型既展示了定量的改进，又展示了新的定性功能，随着规模的增加。尽管它们具有潜在的变革性影响，但这些新能力的特征却很差。为了为未来的研究提供信息，为破坏性的新模型能力做准备，并改善社会有害的效果，至关重要的是，我们必须了解目前和近乎未来的能力和语言模型的局限性。为了应对这一挑战，我们介绍了超越模仿游戏基准（Big Bench）。 Big Bench目前由204个任务组成，由132家机构的442位作者贡献。任务主题是多样的，从语言学，儿童发展，数学，常识性推理，生物学，物理学，社会偏见，软件开发等等。 Big-Bench专注于被认为超出当前语言模型的功能的任务。我们评估了OpenAI的GPT型号，Google内部密集变压器体系结构和大型基础上的开关稀疏变压器的行为，跨越了数百万到数十亿个参数。此外，一个人类专家评估者团队执行了所有任务，以提供强大的基准。研究结果包括：模型性能和校准都随规模改善，但绝对的术语（以及与评估者的性能相比）；在模型类中的性能非常相似，尽管带有稀疏性。逐渐和预测的任务通常涉及大量知识或记忆成分，而在临界规模上表现出“突破性”行为的任务通常涉及多个步骤或组成部分或脆性指标；社交偏见通常会随着含糊不清的环境而随着规模而增加，但这可以通过提示来改善。

NLP基准在很大程度上主要集中在短篇文本上，例如句子和段落，即使长文本在野外占相当数量的自然语言。我们介绍卷轴，这是一套需要在长文本上推理的任务套件。我们检查现有的长文本数据集，文本自然是长期的，同时优先考虑涉及在输入上扫描信息的任务。滚动包含概述，问题应答和自然语言推理任务，包括多个域，包括文学，科学，业务和娱乐。初始基线（包括啰覆编码器），表明滚动有充足的改进空间。我们以统一的文本到文本格式提供所有数据集，并托管Live Refordboard，以促进模型架构和预用方法的研究。